Amazon AthenaとAWS Glueを使ってHiveテーブルからIcebergテーブルに移行する

データアナリティクス事業本部インテグレーション部機械学習チーム・新納（にいの）です。

Amazon Athenaで利用可能なテーブルフォーマットのひとつであるIcebergでは、ACIDトランザクションやタイムトラベル機能をサポートしたりスキーマ変更に追従できたりと、さまざまな便利な機能が提供されています。UPDATE/DELETE/MERGEといったデータ編集もSQLを経由して行えますので、AthenaとStep Functionsを組み合わせたETLフローも作りやすくなりました。

こうした便利な機能を利用するため、既存のHive形式のテーブルをIcebergに移行したいケースも出てくるかもしれません。

今回はそんなケースを想定していくつか移行方法をご紹介します。

気をつけるポイント

Athenaでは、CREATE TABLE AS SELECT（CTAS）を使ってテーブルを作成する際に一度に作れるパーティションは100件までという制限があります。HIVE、Icebergテーブル両方に同様の制限があります。

• CTAS および INSERT INTO を使用して 100 パーティションの制限を回避する - Amazon Athena

制限値を超えてしまうと、Exceeded limit of 100 open writers for partitionsエラーが発生します。

作成したいテーブルのパーティションが100件以下で、Athenaでクエリを完結させたい場合はCTASを利用した移行を、パーティションが100件以上ある場合はGlue Studioで移行する選択肢があります。

パーティションが100件以下

CTASで移行する

CREATE TABLE AS SELECT句を使って、元のHiveテーブルからIcebergテーブルを作成します。WITH句でIcebergの設定をします。

CREATE TABLE <icebergテーブル名> WITH(
	table_type = 'ICEBERG',
	partitioning = ARRAY [ '<パーティションキー>' ],
	location = 's3://<icebergテーブル用のS3バケットパス>',
	format = 'parquet',
	is_external = false
) AS
SELECT ＊
FROM <Hiveテーブル名>

今回は検証として、以下のような、yyyy-mm-dd形式のcreate_dateでパーティションが設定されたテーブルを用意しました。update_timeにtimestamp型で日時のデータを持っています。

このデータを上記のCTASクエリを元にして実行すると、以下のようなエラーが発生してしまいます。Athenaではtimestamp型はデフォルトで秒の小数点以下3桁まで(ミリ秒単位)の精度を持つtimestamp(3)となりますが、Icebergではこれをサポートしていないために発生するエラーです。

Timestamp precision (3) not supported for Iceberg. Use "timestamp(6)" instead. 

これを回避するにはCTASクエリのSELECT句内でCAST(<timestampのカラム> AS timestamp(6)) AS "カラム名"と記述して秒の小数点以下6桁まで（マイクロ秒単位）の精度のtimestamp(6)にCASTします。ASで別名をつけていないとColumn name not specifiedというエラーが発生しますのでお忘れなく。

クエリ実行後、DESCRIBE FORMATTED <icebergテーブル名>を実行すると、Icebergとしてテーブルが作成されていることが確認できます。Glue Data Catalogからテーブルを確認することもできますが、DESCRIBEを使うとパーティションキーも一度に確認できます。

S3バケットを見ると、パーティション100件分のハッシュ化されたフォルダが作成され、それぞれのフォルダ配下にパーティションキーが作成されていることが確認できました。

パーティションが100件以上

Glue Studioで移行する

パーティションが100件以上ある場合は、Glue Studioを使うことで簡単にテーブル移行ができます。
検証のため、以下のとおりパーティションが101件あるHive形式のテーブルを用意しました。

AWSマネジメントコンソールからGlue Studioにアクセスし、Visual Editorから以下のようなジョブを作成します。

Data SourceにはAWS Glue Data Catalogノードを追加します。Database、Tableにそれぞれ該当するHiveテーブルの情報を指定します。

Data TargetにはAmazon S3ノードを追加します。S3へデータを出力するだけでなく、FormatにIcebergを指定するとCreate a table in the Data Catalog and on subsequent runs, keep existing schema and add new partitionsが有効になり、テーブル作成できます。DatabaseやTableに任意の名前を指定して実行します。

実行後、Glue Data Catalog上でIcebergテーブルが作成されていることが確認できました。もちろんAthenaでも作成されたテーブルを確認可能です。

Glueの場合、timestampをCASTしなくてもエラーにならず、タイムゾーン付きのtimestamp(6)でデータが移行されるようです。

さいごに

Hive形式のテーブルをIcebergテーブルに移行する方法をご紹介しました。パーティションが100件以下で、実行をSQLで完結させたい場合はAthena上でCTASクエリを、パーティションが100件以上ある場合はGlue Studioで移行するのがおすすめです。